Fue criado en el seno de una familia con nueve hijos, descendientes de un matrimonio de ascendencia judía.
Cursó estudios en el Colegio de la Compañía de Jesús de su ciudad en 1551. Un año después, ingresó en el noviciado de Salamanca con doce años, en 1552.
En 1559, con diecinueve años, se trasladó a Alcalá de Henares, donde realizó sus estudios en la prestigiosa Universidad de la ciudad. Allí estudió Teología, Sagradas Escrituras y Derecho Canónico, además de disciplinas profanas como Derecho Civil, Ciencias Naturales e Historia.
Veinte años después, emprendió viaje al virreinato del Perú como misionero, ejerciendo como provincial de su orden religiosa, la Compañía de Jesús, entre 1572 y 1585.
En 1575, asumió el cargo de rector del Colegio de Lima. En 1583, fundó el Seminario de San Martín y participó en el III Concilio Limeño.
Entre sus obras destaca Doctrina cristiana y catecismo para la instrucción de los indios, así como el catecismo bilingüe Catecismo en la lengua española y en la aymara del Perú.
A su regreso a España, fue designado visitador de las provincias de Aragón y Andalucía. En 1598, fue nombrado rector del Colegio de los jesuitas de Salamanca.
Su obra más destacada es Historia natural y moral de las Indias (1590), un trabajo monumental sobre la historia natural y las costumbres de los pueblos aborígenes de Hispanoamérica.
José de Acosta falleció en Salamanca el 15 de febrero de 1600.